Diseñando sistemas de machine learning - reseña crítica

¿Alguna vez ha tenido esa sensación frustrante de construir un modelo de Machine Learning que parece perfecto en sus pruebas, pero que se convierte en un desastre total cuando llega a las manos del usuario final? Eso ocurre porque existe un abismo enorme entre el ambiente controlado de un laboratorio o de un curso en línea y la realidad cruda de la producción. En el mundo académico, los datos están listos y congelados en el tiempo, y el único objetivo es superar un récord de precisión. En la vida real, los datos son desordenados, cambian a cada segundo y lo que importa de verdad es si el sistema es confiable, escalable y económico de mantener.

Este microbook, basado en la amplia experiencia de Chip Huyen en Stanford y en la industria, le va a mostrar que crear un sistema de ML exitoso es apenas un 10% sobre el código del modelo y un 90% sobre la infraestructura y los datos que lo sostienen todo. Vamos a sumergirnos en un proceso iterativo que va a transformar su forma de ver la tecnología, pasando de prototipos frágiles a aplicaciones robustas que resuelven problemas de negocio reales.

El desarrollo de ML no es una línea recta, sino un ciclo constante de aprendizaje y mejora donde cada pieza del sistema necesita funcionar en perfecta sintonía con las demás. La ganancia aquí es claridad: usted va a dejar de tratar el ML como una magia aislada y va a empezar a gestionar proyectos como una ingeniería seria y de alto impacto. A lo largo de este recorrido, va a aprender a alinear lo que el algoritmo hace con lo que la empresa realmente necesita para crecer o generar ganancias. No se trata solo de algoritmos complejos, sino de cómo crear una máquina que aprende y se adapta al mundo real sin romperse con cada nuevo cambio.

El diseño iterativo y los objetivos reales

Muchas empresas cometen el error de creer que el Machine Learning resuelve cualquier problema de forma automática. Lo primero que usted necesita entender es que el ML no es una solución mágica. Funciona muy bien únicamente cuando el problema presenta patrones complejos que cambian con el paso de los días. Si una regla simple de "si esto, entonces aquello" resuelve el caso, use la regla simple. El costo de mantener un sistema de ML es demasiado alto para usarlo sin necesidad.

Cuando usted decide seguir ese camino, necesita saber que el diseño de sistemas de ML no es lineal. Funciona como un ciclo infinito. Si usted descubre algo nuevo en la fase de monitoreo, eso lo obliga a volver y revisar sus datos o su entrenamiento.

Otro punto crucial es la alineación de métricas. De nada sirve que su modelo tenga un 99% de precisión si se demora diez segundos en responder y el usuario se va antes de eso. La latencia y el costo de cómputo son prioridades en la vida real. Uber, por ejemplo, creó la plataforma Michelangelo para estandarizar ese flujo. Se dieron cuenta de que necesitaban una infraestructura que permitiera probar y poner modelos en producción de forma rápida y segura.

Para replicar ese éxito, empiece siempre definiendo qué significa éxito para el negocio antes de mirar la precisión del código. Si el objetivo es aumentar la retención de clientes, su métrica de ML debe estar directamente ligada a eso. En su próxima reunión de proyecto, pregunte cuál es el impacto financiero de un error del modelo y use esa respuesta para guiar su diseño.

Los cimientos de los datos y la ingeniería de atributos

La calidad de su sistema de ML está limitada por la calidad de los datos que lo alimentan. No importa si usted usa la arquitectura más moderna del mundo; si entra basura, va a salir basura. La ingeniería de datos es la base de todo.

Usted necesita decidir entre procesar datos por lotes (batch) o en tiempo real (stream). El procesamiento en tiempo real se ha convertido en el gran diferenciador para empresas que necesitan respuestas instantáneas, como los sistemas de recomendación o la detección de fraudes. Además, la forma en que usted almacena esos datos afecta directamente el costo y la velocidad. Formatos como Parquet son excelentes para lectura rápida y ocupan menos espacio.

Otro gran desafío es el etiquetado. Conseguir datos etiquetados por humanos es costoso y lento. Por eso, técnicas de etiquetado programático y aprendizaje débil ganan cada vez más terreno. Un error fatal que muchos cometen es la fuga de datos, donde información que el modelo no debería tener en el momento de la predicción termina entrando en el entrenamiento, creando una falsa sensación de perfección.

Para evitar eso y garantizar consistencia, las empresas líderes usan Feature Stores. DoorDash, por ejemplo, usa esta técnica para garantizar que el mismo dato utilizado en el entrenamiento sea el que se usa en el momento de la entrega del pedido, evitando predicciones erradas sobre el tiempo de entrega. Usted puede replicar esto creando un repositorio centralizado de atributos para su equipo. Hoy mismo, verifique si existe alguna información del "futuro" en su conjunto de entrenamiento. Pruebe esa limpieza durante 24 horas y vea cómo el rendimiento de su modelo se comporta de forma mucho más realista.

Modelado, evaluación y estrategias de deploy

A la hora de desarrollar el modelo, la regla de oro es: empiece por lo simple. No intente usar una red neuronal profunda si una regresión logística resuelve el problema básico. Los modelos simples sirven como una línea base (baseline) esencial para que usted sepa si la complejidad adicional realmente vale el esfuerzo.

Cuando el modelo esté listo, la evaluación offline es apenas el comienzo. Usted usa métricas como F1-score y AUC-ROC para tener una idea del potencial, pero la prueba real ocurre en el momento del deploy. Usted necesita elegir entre predicción por lotes, que es más económica y fácil de gestionar, o predicción en línea, que ofrece resultados inmediatos para el usuario. Si usted trabaja con dispositivos móviles o sensores, el ML en el Edge es el camino, y exige técnicas de compresión como la cuantización para que el modelo funcione sin agotar toda la batería o la memoria del dispositivo.

Netflix usa estrategias de deploy muy inteligentes para probar nuevos algoritmos. Suelen usar el deploy en sombra (shadowing), donde el nuevo modelo recibe los datos reales y hace la predicción, pero el resultado no se le muestra al usuario. Esto sirve para validar el comportamiento del sistema sin ningún riesgo de arruinar la experiencia del cliente. Usted puede replicar este enfoque poniendo su nuevo modelo a correr en paralelo con el anterior y comparando los resultados en silencio durante algunos días. En su próxima actualización de sistema, intente usar un lanzamiento canario, liberando la novedad para apenas el 5% de los usuarios primero.

Monitoreo, aprendizaje continuo y ética

Poner el modelo en producción no es el final del camino, es apenas el comienzo de una nueva fase. El mundo cambia, y su modelo va a perder rendimiento con el tiempo. Esto es lo que llamamos drift. El comportamiento de los usuarios cambia, surgen nuevos productos y lo que era verdad ayer ya no lo es hoy.

Por eso, el monitoreo constante es vital. Usted necesita registrar logs de todo lo que ocurre para identificar fallas silenciosas. Lo ideal es avanzar hacia el aprendizaje continuo, donde el sistema se actualiza solo con los nuevos datos de forma automatizada, en lugar de depender de un entrenamiento manual cada seis meses.

Pero tenga cuidado: los sistemas automatizados pueden amplificar sesgos e injusticias si los datos de entrada están viciados. La ética y la justicia en ML no son solo "discusión teórica", son riesgos reales de negocio y de imagen. La privacidad de los datos también debe estar en el centro del proyecto desde el primer día. Google, por ejemplo, invierte fuertemente en privacidad diferencial para entrenar modelos sin exponer datos individuales de sus usuarios. Eso garantiza la confianza del público y la seguridad del sistema.

El éxito en ML exige que usted acepte la naturaleza imperfecta de los datos y se comprometa con una evolución constante. Hoy mismo, pregúnteles a sus clientes o usuarios si perciben algún sesgo en las respuestas de su sistema. Pruebe implementar un monitor de estadísticas simple en sus datos de entrada para detectar cambios bruscos de patrón en las próximas 24 horas.

Notas finales

Diseñar sistemas de Machine Learning es un desafío que mezcla ingeniería rigurosa con una comprensión profunda de los datos y del comportamiento humano. El gran aprendizaje aquí es que un modelo solo tiene valor real cuando está en producción, generando impacto y siendo monitoreado de cerca. El foco debe pasar del algoritmo aislado al ciclo completo: desde la recolección ética y eficiente de datos hasta la actualización constante del sistema en el mundo real. Trate el ML como una disciplina de ingeniería donde la robustez y la adaptabilidad son más importantes que la complejidad técnica por sí sola.

Para complementar su visión sobre cómo estructurar grandes sistemas tecnológicos, le recomendamos el microbook Designing Data-Intensive Applications, de Martin Kleppmann. Profundiza en la infraestructura de datos que sostiene las aplicaciones modernas y le va a ayudar a entender aún mejor cómo escalar su sistema de ML con seguridad y rendimiento. ¡Encuéntrelo en 12min!